查看原文
其他

收藏:数据库专题报告 | 信创助力,百花齐放

信创基地 2022-07-03

来源 | 看大数据

编辑 | 何婷

全文共8681字,预计阅读时间15分钟



什么是数据库?

参考 Gartner 对数据库的定义,数据库是一种用于存储和管理拥有固定格式和结构数据 的仓库型数据管理系统。某种意义上,数据库会因为对于数据调度使用方式、基础格式 之间的差异而被划分为不同的种类。在信息化社会,充分有效地管理和利用各类信息资 源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。数据库与操作系统、中间件同为三大基础软件之一。


成长到繁荣,新兴数据库兴起

数据库这一行业技术发源并兴起于美国,如今已经广泛应用于全世界各企业之中。这一 产业从诞生到日趋成熟总共经历了三个发展阶段

萌芽期——从卡片储存方式到网状、层次型数据库

上世纪早期,数据收集与储存工作仍需借助机器制成的穿孔卡片,直到六十年代,磁带 与硬盘技术应用普及才使得数据的读取和储存更为方便,世界上第一款网状数据库与商 业层次型数据库也在这段时间出现。

成长期——关系型数据库的普及与发展

1970 年,IBM 公司研究员埃德加·科德提出了 “关系型数据库” 这一概念,他的理论有 严密的逻辑且简单清晰,启发了 IBM 团队创建了关系型数据库的原型 R 系统与结构化 查询语言 SQL。这一套成熟的系统和理论在之后被 IBM 与 Oracle 公司接纳并开发出 了如 DB2、RDMBS 等关系型数据库。然而随着关系型数据库的普及,这一种数据库的 局限性也日趋明显。

八十年代,为进一步解决关系型数据库存在的问题,诸如面向对象型数据库、内存数据 库的新概念不断被提出。由于这些针对关系型数据库的优化程式技术不断成熟,到了上 世纪九十年代时,基于 RDBMS 类的数据库产品已经基本完成商业化,并通过可扩展标 记语言(XML)运用到互联网产业当中。

繁荣期——非关系型(NoSQL)数据库的流行、数据云存储

随着互联网的发展,数据库使用者往往需要建立复杂难控的模型去处理巨量且冗杂的流 量数据。2008 年,Facebook 公司发布了开源的 Hives 与 Cassandra 数据库,这一举 动带动了数据库产业技术上的变动,非关系型数据库这一新型的数据库也逐渐普及。相 比于传统的关系型数据库,这一新型数据库极大地增加了处理数据的总量,通过更为方 便的模型大大地节省了开发与维护成本。

同时,基于“云计算”技术的新型数据存储方式也逐步兴起,并广泛应用于数据库行业之 中。截至 2016 年,全球数据仓库市场已经形成了较为成熟的底层由私有云、公有云计 算存储技术构成,上层由关系型数据库与非关系型数据库管理的“数据上云”模式。


两大类型为主,新兴数据库种类渐多

现有的数据库种类大致可以分为两大类,分别是较为传统的关系型数据库与刚刚兴起的非关系型数据库

关系型数据库

关系型数据库的基层单位是由二维的行列分部组成的表格,一个关系型数据库往往可以 涵盖多个行列分部表格。表格中每一行分布代表了一条独特的数据记录,而各列则代表 了同一数据记录的不同特性。通过多种来源获取的数据最后会通过抽取、转化、加载后 整合进一个数据仓库之中。关系型数据库根据其数据处理技术的不同又可以分为联机事 务型数据库与联机分析型数据库。

非关系型数据库

非关系型数据库是一个用于概括一切可供替代传统关系型数据库的开放式术语。虽然以 “非关系”这一名称命名,但这一类数据库同样也可以通过嵌套类的方式将互有关系的数 据存储在同一结构当中。

非关系型数据库采用了更为灵活的数据结构,并且可以横向到达多个处理器,这吸引了 更多需要处理超过单一服务器数据流量的厂家。以功能划分,非关系型数据库可以分为 文档型数据库、键值型数据库、列存储数据库、图形数据库四种。


对标海外:空间广阔,开源和云兴起

市场空间:全球数据库市场空间广阔

依据 Gartner 数据,全球数据库行业 2018 年市场规模为 460 亿美元,较 2017 年增长 18.4%。其中非关系型数据库的市场规模约为 24.1 亿美元,远远少于关系型数据库的规 模,但这一部分在未来几年有望保持 31.4%的年复合增长率。

从地理分部维度来看,目前全球数据库市场中呈现着以北美与欧洲地区占多数,亚太地 区与拉丁美洲作为新兴市场的整体地理分部趋势。海外市场中,尚未高度成熟的国家与 地区在未来仍然有潜在的较快的成长趋势。

根据美国 Expert Market Research 公司(EMR) 今年发布的市场调查,2019 年全球数 据库行业市场规模已达到 584 亿美元。未来五年,全球数据库市场可以继续保持复合年 增长率 13.81%的高速增长趋势, 2025 年市场规模将达到约 1269 亿美元

可以看到,虽然不同数据源统计的行业数据有一定差异,但整体上 2018 年全球数据库 市场空间在 400-600 亿美元之间,且保持 10%以上的快速增长。

竞争格局:传统巨头占优,新兴厂商崛起

国外权威的数据库评分网站 DB-Engines 排名显示,最受用户与开发人员欢迎的技术得 分较为稳定,分别是甲骨文公司的 Oracle 系统、MySQL、Microsoft SQL Server 三项较传统的关系型数据库技术,而非关系型数据库则是 MongoDB 得分最多。

除这几款数据库技术之外,其余得分较低的数据库产品仅占行业较小份额。虽然行业市 场已由 Microsoft、Oracle、SAP、IBM 通过多种不同产品占据了近六成的份额,但这四大龙头企业之间竞争依然激烈。例如,Microsoft 曾为争夺市场份额,对将数据从Oracle 数据库迁徙至微软数据库的用户提供免费的授权许可。


发展趋势:开源和云兴起


数据库开源化

开源数据库系统特指源码可供免费获取,并在符合特定授权模式的情况下可使用的数据库系统。截至 2020 年 8 月,全球共有 359 款不同的数据库产品,其中开源型数据库有 182 种,约占一半的比例。

参考 DB-Engine 的统计数据,开源数据库受欢迎程度持续提升。近年,数据库行业中商 业数据库的受欢迎程度已从 2013 年年初的 64.47%逐步下降到了 2020 年八月的 50.5%, 而这一时段内开源数据库的受欢迎程度则从 35.53%上涨到 49.5%。

同时,目前数据库行业不同的数据库之间喜好的比例也不相同。相比于传统商业数据库的主要类型稳定,在开源数据库中新兴数据库类型更受欢迎。这一整体趋势说明全球数据库这一市场已经从传统的商业数据库为主的格局逐步转向商业与开源数据库混合的态势。

云数据库占比提升

根据 Gartner 公司 2019 年发布的市场预测,随着数据库中数据分析和 SaaS 模式等趋势的带动,预计到 2022 年时,全球数据库市场中 75%的数据库将完成到云平台的迁徙, 仅有 5%的数据保持在原本的本地模式当中。

在 2017 年至 2018 年的全球数据库产业总营业额的 18.4%增长中,云数据库管理产品的营业额占到 68%,而 Microsoft 与亚马逊的 AWS 占到总增长的 75.5%。说明云数据 平台的提供基础设施与云上服务已经逐渐发展成为了新型数据平台。未来,数据库产业 将建立不同于以往本地模式的基于云服务的新型生态系统。


国内市场机会:国产替代、新兴崛起

国产数据库市场持续快速增长

中国数据库产业虽然较国际市场起步晚,但是经过三十多年的发展,也逐步成熟。中国 国产数据库产业已经基本应用在了政府、军队、金融、交通、科技等多个领域。目前数 据库软件的上游主要由计算机硬件设备组成,而该行业的下游需求市场主要体现在消费 品、装备、政府采购领域。2017 年,相较上一年全数据库软件应用领域的平均增长达到 18.91%。

参考智研咨询的数据,截止至 2018 年,中国数据库市场共有 155.59 亿元市场规模,其 中 139.25 亿元为数据库软件市场,其余为数据库服务市场。

中国数据库市场持续增长,云数据库占比将提升。根据 IDC 在 2019 年发布的市场预测, 2019年中国关系型数据库软件市场有望达到13.4亿美元,传统本地模式为7.9亿美元, 公有云模式 5.5 亿美元。预计到 2024 年,整体市场规模将达到 38.2 亿美元,5 年整体 市场年复合增长率(CAGR)为 23.3%。其中公有云关系型数据库软件市场将保持 35.5% 复合年增长率,到 2024 年中国公有云关系型数据库软件市场将达到 25.1 亿美元。

海外厂商占优,国产替代有望加速

目前的数据库市场由于技术门槛较高,且长期被国外企业垄断大多数市场,因此国内厂商的市场份额较少。以 2017年市场数据来看,中国数据库市场主要由四家外国企业占据最多市场份额,分别为Oracle、IBM、Microsoft、SAP,四家合计市场份额高达 64.8%。

随着数据系统市场的不断发展深化,用户需要处理的业务、用户数据的增加,传统的小型机服务器系统瓶颈日益突显,性能优化需求已是大势所趋。同时,对于国外系统在中国各领域的应用隐含的信息安全问题也加深了用户对自主、安全、可控的国产数据库产业的需求。此外,X86 服务器与储存性大幅提升,系统交互日益成熟。这三点因素进一步推动了各中国公司信息自主化、扶持自主信息产业替代国外商用数据库、实现安全可主要目的的“去 IOE”的进程。

目前为止,替代占据主要市场的国外商用的进程总体上已经稳步推进。如阿里、华为等厂商逐步开发了更安全、自主、可用的云平台产品用于数据迁移和更为节约成本的数据计算技术。从 2009 年国内“去 IOE”进程开始到 2017 年期间,国产数据库产品占国内数据库市场的份额正在飞速提升。尤其在 2016 年至 2017 年间,年增长率高达 36.33%, 远超同期国外数据库产业在国内市场 15.98%的增速。预计未来,随着“去 IOE”进程的全 面化,这一占比将继续提升。

新兴数据库趋势:多技术融合

根据 Statista 统计报告,全球每年产生的数据量值近年来正呈现飞速增长态势。预计到 2020 年,全球每年产生的数量将达到 50.5ZB。自 2012 年以来,每年中国市场产生的数据量增长率都在 50%左右。这预示着未来数据库产业的产品将关注于进一步提升算、处理、存储等方面的性能,才有可能有效利用如此大量的数据。

目前新兴国产数据库的底层框架已经日趋成熟,大数据技术已经成为了支柱型的基础设施。未来发展数据库产业发展的方向也逐渐转向提升效率、上层应用部分。当前,新兴国产数据库产品正逐渐体现了六种不同方向的技术融合的趋势,分别为硬件算力融合、 流批处理融合、事务与分析型融合、一站式模块融合、云与数据融合、数据与智能融合。


百花齐放,国产数据库厂商迎来机遇

依据 IDC 的统计分析,近年来,国际数据库厂商在中国市场增长乏力,本土厂商份额上升。国际数据库厂商的市场份额已经饱和,在企业新系统建设中,本土数据库品牌占据优势。

国内数据库市场迎来蓬勃发展期,进入百花齐放时期。近年来,传统数据库厂商和公有云数据库服务商都在加速产品迭代和推出新的产品。同时,新兴数据库厂商不断涌现, 以及其他领域厂商向数据库跨界情况的增多,使中国关系型数据库市场更加繁荣和活跃。新兴厂商和跨界厂商的典型代表有巨杉数据库、PingCAP、柏睿数据、海量数据、华为、中兴等。

我们梳理国产数据库代表厂商发现,当前国产数据库典型厂商主要以三类为主:第一, 以华为、阿里、腾讯为代表的 IT 巨头;第二,以柏睿数据、星环科技为代表的创新型数 据库厂商;第三,达梦数据库和人大金仓等为代表的传统国产数据库厂商。

华为:国产数据库龙头,快速构建生态

华为公司在数据库产业上布局已久,早在 2007 年就已经战略上开展了对数据库行业的布局,到 2014 年就已经持续和工商银行、招行等客户建立合作联创,目前仅数据库研发人才就有1000 多人,并有 100 多名布局全球七大区域的数据库内核引擎、算法等方向的高级专家与技术人员,同时也积极拥抱开源环境,打造兼容包括 MySQL、 PostgreSQL、MongoDB、Cassandra 等的数据库。

2019 年 Q4,华为开始了 GaussDB(for SQL)、GaussDB(for Cassandra)、GaussDB(for Mongo)数据库的公测与试商用。2020 年 7 月 20 日,华为云数据库业务总裁苏光牛在 TechWave 技术峰会上正式发布了GaussDB (for SQL) 与 GaussDB NoSQL 两款数据库产品。之后不到半个月,华为就宣布了对整个 GaussDB 产品更新与战略升级。

华为将自己旗下各种兼容不同开源系统的数据库产品统一以“GaussDB”这一名称命名, 不仅表明了自己注重持续建设、开源运营 openGauss 社区的态度,也表明了之后将持续打造自主研发可控的数据库产业的立场。据华为提供的数据显示,2019 年华为数据库外部收入相比 2018 年已经实现了高达 400%的增长,并已经广泛运用到金融、泛政 府、交通、医疗、能源等产业中。

华为公司判断在未来的国内数据库市场中,超高性能、高可用性、扩展性、安全性、易用性的特点仍然是市场需求的趋势。华为会继续推进 AI 技术融入 GaussDB 数据库内 核与算法的过程,逐步实现数据库自我调优、诊断、运维能力,以求最终实现数据库智 能化,并将继续围绕云上数据库建立以此为核心的云上数据生态。

阿里巴巴:国产替代先行者,云数据库国产厂商领先

早在 2009 年,阿里巴巴就已率先提出了“去 IOE 化”的口号,并且在之后十年之内一直坚持这一战略方向自主研发数据库产品。目前,其数据库市场已经初具规模。根据 IDC 中国发布的资料显示,截至 2019 年,阿里巴巴在国内关系型数据库公有云领域占据市 场份额达到 48.10%, 稳居该市场份额第一位,超过之后排名的五家公司该领域份额的总和。

阿里巴巴自研数据库极低的计算成本依托于其不断创新、自主研发的强力云计算技术。2019 年时,阿里巴巴的 EMR 参加了大数据领域权威竞赛 TPC-DS,其结果打破了当时的世界纪录,成为 2006 年以来唯一一家上榜的国产关系型数据库厂商。2020 年 5 月, 阿里巴巴自研数据库 AnalyticDB 又将计算速度提升了 2.2 倍以上,跑出 1489 万 QphDS 的高分,是 Spark、Transwarp 等同类产品的 3 倍以上。

目前已经有多达 40 万以上的数据库实例迁移到了阿里云之上,阿里巴巴数据库已经全 面应用到了政务、零售、金融、电信、制造、物流等各个领域的龙头企业。

阿里巴巴拥有非常全面的数据库产品内容,其中包括关系型数据库 PolarDB、PolarDBX、OceanBase 等,非关系型数据库 Lindorm,云原生数据仓库 AnalyticDB。这些数据库产品几乎涵盖了所有开源性质的不同数据库种类,并且有效兼容了 Oracle 等商用数 据库的内容,为公司未来进一步带动数据库市场“去 IOE 化”打下了坚实的基础。

阿里巴巴判断在未来的行业发展中,拥有云原生数据库与分布式架构的数据库产品,不仅能够提供更低的成本和弹性扩展能力,还能够有效降低成本,会成为未来公司市场所 前进的方向。

同时,公司也逐步将 AI 技术运用到研发的自治数据库服务当中,并在未来尽可能做到数据库运维的自动化与智能化。此外,阿里巴巴正在建设 LedgerDB,未来将尝试将区 块链技术与数据库系统相集成,以确保蚂蚁金服的交易业务中用户数据的安全性。

腾讯:数据库产品不断迭代,重视新兴技术

作为大数据这一领域的前沿探索者,腾讯自 2009 年就以来不断变革其数据库技术,从开源化数据库到重视实时演算,再到机器学习与自主研发数据库产品的这十多年,腾讯 在数据库这一领域积累了相当多的经验。如今,腾讯已经成功开发了 20 多种数据库,并以每年 5 个大产品、50 种功能的高速继续在数据库相关产品研发道路上推进。

如今,腾讯云已经掌握了核心的自主研发技术。2020 年 6 月 1 日,腾讯云正式发布分布式图形数据库产品腾讯云数图 TenCent Graph Database(TGDB),成功实现了万亿级关联性数据库的实时查询,并且成功打破了国外如 Neo4j 等图形数据库厂商在图形数据 库该领域上的技术天花板。

除了图形数据库这一新型自主研发产品之外,腾讯已经拥有了 TenCent DB 中最受欢迎数据库云数据库 MySQL、分布式数据库 TDSQL、数据库一体机 TData、数据库生态工 具智能管家 DBbrain 等一系列优秀产品。

腾讯公司判断未来在数据库产业布局和发力主要在云原生、自治、国产化替代、超融合这四个层面。公司将继续坚持成为数据库产业生态的组织者,运用其 CynosDB、DBbrain、 TDSQL、TBase 等产品,在未来“百花齐放”的国内数据库市场中,争取更多的市场份额。

柏睿数据:新兴领军,分析型数据库代表企业

柏睿公司成立于 2014 年,是完全自主可控数据库产品和数据智能平台提供商,是一家代表中国主导制定数据库国际标准的企业,是中国分析型数据库行业代表企业。公司依托底层核心数据处理技术和人工智能算法融合,对标硅谷新兴数据库 Snowflake 及 DataBricks,推出面向不同行业领域的大数据智能分析平台,支撑智慧城市、数字政务、 智慧能源、智能制造等数字化产业应用。利用数据科学,实现实时洞察、精准分析,为 政务治理和企业经营提供决策支持。公司产品支持国产硬件鲲鹏、飞腾、兆芯、申威;支持国产操作系统深之度、UOS、银河麒麟等。公司在美国硅谷、澳洲悉尼、中国上海、 广州、武汉、甘肃等地也设有多家研发中心和分支机构,业务辐射长三角、珠港澳、华 中、西北等地。

参考新京报,柏睿数据 2016 年销售额 3500 万元,2017 年预期实现合同金额 1 亿元, 已经具备一定规模体量。

从行业发展趋势维度看,数据时代正处于转型升级之时,传统数仓已无法满足大数据实时智能分析的需求,亟需新一代以实时智能分析、决策为核心的海量数据分析、管理和 存储的解决方案。传统的互联网巨头公司虽然觉察到了市场需求变化趋势,却很难对数据库系统做出创新、替换,因此唯有在实时大数据分析、行业解决方案等领域争取尽量大的份额,才有可能引领国产数据库企业走向全世界。

目前,柏睿数据正积极投入“数据大脑”这一融合数据库和人工智能核心技术的数据库产品的研发,未来,此类产品有望通过基于数据分析、机器学习的方式引领各行业实施智 能推理科学决策。

柏睿数据坚持“重产品强生态”的发展路线,持续深耕自有产品打造,在实时处理、精准分析等技术方向上不断深化,持续推进能够主导国际标准的产品研发和应用落地,并与国内众多知名院校联合成立人民大学统计学院—大数据统计实验室、中国矿业大学(北 京)——城市公共危机管理与决策实验室、国家信息中心数字中国研究院——新一代数据库与人工智能研究中心等,构建国内顶尖的数据处理、分析与数据建模能力,推进国 产大数据核心技术创新与产业推进。

星环科技:分布式、分析型数据库新兴代表

星环信息科技是目前极少数掌握企业级大数据 Hadoop 与 Spark 核心技术的数据库行业企业,也是国内最早的大数据 Hadoop 发行版团队,自 2009 年起就开始从事于大数据 Hadoop 的研发,几乎与美国硅谷同类公司同时起步,并在 2011 年于国内率先提出 Hadoop 发行版。目前为止,该类技术已经成为替代“IOE”大背景下公认的替代传统数据库技术产品。

星环科技判断传统数据库智能架构仍然存在局限性,并相信公司基于边缘计算的 AIOT 架构可以实现从中心智能到边缘智能再到数据智能的云边一体的全链路化,为企业客户 构建数字化转型平台。

发展战略维度,星环科技仍然将继续加强数据库生态圈的构建,与商业合作伙伴结合各自的技术优势,实现资源共享、优势互补,并共同打造完整的基础平台系统等设施。

南大通用:传统国产数据库领军

南大通用公司成立于 2004 年,目前在天津、北京、广州、上海、南京、沈阳、济南、西安等地都设有分部,服务网络也已经覆盖全国所有的省份。公司数据库产品在 2018 年曾经入选专业市场调查机构 Gartner 发布的面向分析型数据库魔力象限的“利基者”象 限,产品较具有潜力。

南大通用公司判断传统数据库在扩展性、并发性、部署大量节点等能力上仍然存在不足,而新型的 NoSQL 数据库其本身的非线性、可扩展等能力虽然适合开发,但是在多表关 联性、强一致、统一性、易用性方面仍然面临不足。因此数据库这一产业的未来指向了 一种基于云架构的 NewSQL 形式,即在传统关系型数据库基础上实现支持 CN 集群、 提高系统伸缩性等功能。

达梦:老牌国产数据库厂商,迎信创产业落地机遇

武汉达梦数据库有限公司成立于 2000 年,专业从事数据库管理系统的研发、销售与服务,同时可为用户提供大数据平台架构咨询、数据技术方案规划、产品部署与实施等服 务。多年来,达梦公司始终坚持原始创新、独立研发,目前已掌握数据管理与数据分析 领域的核心前沿技术,拥有全部源代码,具有完全自主知识产权。目前公司由中国软件 持股 25.21%。

截至 2019 年,公司全年营业收入约为 2.72 亿元,较上年同比增长 25.41%,2015 年2019 年复合增长率 13.84%;全年净利润约为 5719.6 万元,较上年同比增长 93.56%, 2015 年-2019 年复合增长率 90.2%。公司充分受益于信创产业落地,财务指标较上年 同时期都有明显的提速趋势。

不同于大部分国产数据库市场的友商,武汉达梦坚决贯彻自主研发,做到数据库的所有代码都是团队自主开发,而不是在现有的数据库系统上进行修改,难度较高,风险较大, 但是也充分吸收了先进的思想。武汉达梦判断相比于传统的占有主要市场的国外数据库, 公司自主研发的产品虽然性能有过之而无不及,但是在市场成熟度上仍然需要逐渐改进。未来,在坚持自主研发的同时,需更加关注核心技术资源和自主知识产权的保护,从根源上实现安全、自主、可控。

人大金仓:控股股东重视程度提升,电科体系助力成长

人大金仓由中国人民大学一批最早在国内开展数据库教学、科研、开发的专家于 1999 年发起创立,先后承担了国家“863”、“核高基”等重大专项。自成立一来,人大金仓始终立足自主研发,专注数据管理领域,公司产品广泛应用于电子政务、国防军工、电力、 金融等超过 20 个重点行业,完成装机部署超过 50 万套,遍布全国近 3000 个县市。目前,公司由太极计算机股份有限公司控股 32.52%。

根据 IDC 发布的2019 年下半年国内关系型数据库市场份额数据显示,人大金仓已经成 为仅次阿里、南大通用的第三名国产数据库厂商。2018 年,人大金仓获国家科学技术 进步二等奖。未来,随着新基建等事件带来市场机遇,人大金仓将坚持做好技术创新与发展,保持产品更新与迭代,为客户提供“更可靠、更安全、更智能、更融合”的产品与 解决方案服务。

万里数据库:行业市场获得标杆客户认可

北京万里开源软件有限公司成立于 2000 年,是一家专注于国产、自主可控数据库以及 Linux 操作系统产品研发的国产高新技术企业。通过与 MySQL、TurboLinux 的技术积累及自主研发与应用经验,万里开源数据库及操作系统产品在功能、性能、稳定性、易用性等方面均处于行业先列,并应用于能源、通信、金融、政府、交通等多个行业。目前该公司处于创意信息技术股份有限公司的绝对控股之下。

万里开源软件公司也为诸如深交所、国家级气象机构、瑞银信订单交易系统、中国移动经分系统、国家电网全业务数据中心项目提供了技术上的支持与具体的行业解决方案。目前,近其官网上所罗列的合作伙伴就有多达 20 多家。

2020 年上半年,万里公司在自主可控产品领域成绩突出,并在运营商领域中标了与中 移动信息技术技术有限公司在 OLTP 数据库上的联创项目,未来公司将充分发挥各自优 势,合作共同打造数据库智能技术服务平台,共同拓展高端数据技术服务市场。

点击链接,查看往期好文


我就知道你“在看”

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存